超解像ビデオ処理のためのスパースジオメトリー

专利摘要:
入力ビデオシーケンスを分析する方法において、出力ビデオシーケンスの合成画像のピクセルを、予め定められた方向の集合に属する、規則性の方向に関連付ける。候補方向の第１の部分集合は、出力ビデオシーケンスの第１の画像の特定の或る領域に対して予め定められた方向の集合から決定する。第１の画像の後に続く出力シーケンスの第２の合成画像の対応する領域に対しては、入力シーケンスの画像と候補方向の第１の部分集合とに基づいて、予め定められた方向の集合から、候補方向の第２の部分集合を決定する。第２の合成画像のこの領域のピクセルに対する規則性の方向は、候補方向の第２の部分集合から、検出する。候補方向の部分集合の再帰的な決定が、ビデオシーケンスを効率よく分析するためのスパースジオメトリーを提供する。本方法は、デインターレーシング、フレームレート変換及びノイズ低減等の超解像ビデオ用途に適している。
公开号:JP2011509617A
申请号:JP2010541855
申请日:2008-01-11
公开日:2011-03-24
发明作者:ブルーナ；エストラッチェ ジョアン；アレクサンダー；シャンド マーク
申请人:ゾラン；
IPC主号:H04N7-01

专利说明:

[0001] 本発明は、デジタルビデオ処理に関する。本発明は、特に超解像ビデオ処理の分野に適用可能である。超解像ビデオ処理方法は、超解像補間（例えば、フレームレート変換、超解像ビデオスケーリング及びデインターレーシングなど）及び圧縮アーチファクト及び／又はノイズの低減を含む多様な用途に用いられる。]
背景技術

[0002] デジタルシステムにおいてビデオシーケンスは、典型的には、tを整数の時間インデックスとし、xを画像におけるピクセルの位置を表す二次元の整数インデックス(x1, x2)として、ピクセル値It(x)のアレイとして表される。ピクセル値は、単一の数（例えば、グレースケール値）とするか、又は、色空間（例えば、ＲＧＢ、ＹＵＶ及びＹＣｂＣｒなど）における色座標を表すトリプレットとすることもできる。]
[0003] 超解像ビデオ処理方法は、時間的に隣接する数個のビデオフレームのピクセル値を組み合わせることによって（補間のために）新たなピクセル値又は（ノイズ低減のために）既存のピクセルの新たなピクセル値を算定することにある。]
[0004] 特許文献１には、アーチファクトが極めて少ない超解像ビデオ処理方法が開示されている。この方法は、算出すべき各新たなピクセルにとって最適なインターポレータを選択することにある。しかし、ある特定のシーケンスに対しては、考慮するインターポレータの総数を増やすことによってこの方法を改善する必要がある。これにより画質は向上するも、より高い複雑性が余儀なくされる。]
[0005] ビデオ補間の用途において知られている技術には、動き適応型又は動き補償型のものがある。]
[0006] 動き適応のビデオデインターレーシングでは、ビデオが動きを伴わない場合にのみ解像度が十分なデインターレースされたフレームが得られる。これ以外の場合では、デインターレースされたフレームは、ギザギザの輪郭、すなわち解像度の低い質感及びフリッカーを伴う。より進化した動き適応技術が特許文献２に記載されている。]
[0007] 動き補償技術の方がより良い画質水準を達成できることが知られているも、この方法はロバスト性を低下させ場合によっては、動き適応技術よりも実質上悪いアーチファクトを表示することの犠牲を伴う。このようなことは、特に、オクルージョン、透明オブジェクト又はシャドウ部等のような動き推定がうまくいかないビデオの箇所にて発生する。動き補償のデインターレース技術の例は特許文献３において記載されている。]
[0008] フレームレート変換を行う標準的な方法は、２つのフレーム間の動きを推定することにより密な動きフィールドを算出したうえで、動き補償補間処理で新たなフレーム算定することを含む。上述したと同じ理由により、このようなステップに基づくフレームレート変換は多数の欠点を有する。密な動き推定は、周期的なパターン、輪郭部又は平坦な領域ではうまくいかない。]
[0009] 動き推定に関するよく知られている技術として、「ブロックマッチング法」と呼ばれるものがある。ブロックマッチング法にて、x及びtにおける動きを推定することは、オフセットd=(d1,d2)の集合であるウィンドウＷでのマッチングエネルギーEx(v)を最小にすることにある。マッチングエネルギー（L1エネルギー）の一つの表現としては、



である。マッチングエネルギーの別のよく用いられる式は、L2エネルギーあるいはユークリッド距離：



である。]
[0010] ブロックマッチングは、ＭＰＥＧのような、ブロックベースの変換を採用するビデオ圧縮スキームにおける動き補償に非常に適している。マッチングアルゴリズムが、類似しているが別のオブジェクトを表している（例えば、“sweet”という単語の画像における最初の‘e’は二番目の‘e’と一致している）画像の２つのウインドウに整合する場合に、圧縮効率は損なわれない。しかし、ビデオ補間を行う場合においては、実際には同じオブジェクトに対応していないピクセルの整合グループが補間アーチファクトをもたらすことになる。その理由は、補間されたピクセルは、画像に現れるオブジェクトにおける空間相関のために、「間違った動き」を反映することになるからである。]
[0011] ブロックマッチング方法は、各ピクセルに対して実際に考慮する可能な変位の数に比例して計算量がかなり多くなる。ビデオ圧縮でも、「高速」のブロックマッチング戦略は、所定の動きの部分集合を用いることによって、可能な変位の範囲を制限することにある。この手法においては、あまりに不正確な変位ベクトルを使用すると、不鮮明な補間画像やアーチファクト招くことになるので、ビデオ補間では容認できない。]
[0012] 動き推定におけるこれらの問題を回避するために、幾つかの方法が開発されている。第一タイプの方法は、動きフィールドに平滑化制約を課すのであり、すなわち近接するピクセルに対しては、対応する動きベクトルが近接しているものとする。これは、マルチスケール動き推定あるいは再帰的ブロックマッチングにより達成できる。上記問題を解決する別のタイプの方法としては、位相相関法がある。]
[0013] 特許文献４では、マルチスケールブロックマッチングに基づく手法が開示されている。縮尺比が２の場合には、ブロックマッチングは、各寸法のサイズを２分の１に縮小した（すなわち、ピクセル数を４分の１にした）It及びIt+1のコピーを用いて間で行われ、次にこれにて得られた変位マップは２倍の解像度を得るためにリファインされる。このリファイン処理は、粗い縮尺結果の周辺に限った探索範囲とする。結果として、全範囲探索が小さめの画像に対してのみ行われるので、変位探索のコストが低減する。さらに、結果として得られる変位フィールドは、低解像度マップをリファインしたものなので、より平滑なものとなる。しかし、特にオブジェクトのオクリュージョンの周りでは、動きフィールドが本質的には不連続なものとなるので、平滑な変位マップではシーンにおける動きを正確に捕えることができない。変位マップの平滑化制約を強要することは、ロバスト性の問題に対処する適切な手法ではない。]
[0014] この問題を類似の手法によって対処する他の方法としては、非特許文献１に開示されているような再帰的ブロックマッチング法がある。この方法は動きマップの計算コストを著しく低減させるのであるが、されど周期的なパターンやオクリュージョンにより誤ってしまうことがある。]
[0015] 特許文献５では、候補変位の集合に対する、大きな画像ウインドウについての変位エネルギーマップを計算するいわゆる位相相関法が開示されている。このマップは、高速フーリエ変換を用いて、効率的に計算することができる。エネルギーマップにおけるピーク値に対応する変位の部分集合は、このウインドウにおける代表的な変位を含むものであると決定される。そして、この変位の部分集合のみを考慮して、第２のステップとしてのブロックマッチングがピクセル毎に行われる。]
[0016] この方法は動き推定の複雑さを低減させ、さらに、不連続の動きマップを検出することもできる。位相相関法を用いることにより、動きマップは正規化されて、制約もされるのであるが、これは空間的正規化とは著しく異なる態様で行われる。位相相関法においては、動きマップの局所的平滑化を課す代わりに、動きマップにおける、可能な異なるベクトルの集合を一定数に制限する。]
[0017] しかし、位相相関法であっても、ハードウェアで実装するのに費用がかかる二次元の高速フーリエ変換に基づく比較的複雑な計算を必要とする。また、この方法は、位相相関で評価される個別のメリットに基づいて動きベクトルを選択する。したがって、この方法は、動きベクトルの最小集合を提供する限られた能力しかない。実際、動いているパターンが周期的構造を有しているか又は並進不変である場合には、幾つかのベクトルが同程度のメリット値を有し、位相相関によってはこれらのメリット値間の調整をすることができない。したがって、得られる動き補償ビデオ補間処理は、準最適なロバスト性のものである。これには、すべてのピクセルに対して、必要以上の多くの候補動きベクトルを考慮するので、複雑性の点からもコストを伴う。]
[0018] 別のタイプの手法は、候補ベクトルについての複雑性の低いマッチングエネルギーを、計算して、変位の第１の部分集合を選択することを伴う。これにより計算の複雑性をある程度に低減させることができるが、動き補償補間をさらに信頼できるものにするための適切な手段とは言えない。]
[0019] ビデオシーケンスのノイズ低減にとって、古典的でポピュラーな方法には、動き補償する再帰的又は非再帰的な時間フィルタリング法がある。これについては、例えば、非特許文献２を参照されたい。この方法は、あるフレームとその前のフレームとの間の動きを推定して、推定した動きに沿って時間フィルタでビデオシーケンスをフィルタリングすることにある。]
[0020] 他の既知の方法では、動き補償型の３Dウェーブレット変換を用いている。これについては、非特許文献３を参照されたい。この論文に記載されている動き補償型の３Dウェーブレット変換は、この３D変換に対してウェーブレット閾値処理を行うことにより、ノイズの低減に用いることができる。モーションスレッドに沿うリフティングに基づくウェーブレット変換を用いるこのような手法の限界は、ノイズによる動きマップの破損に対する感度が極めて高くなることにある。]
[0021] 特許文献６には、大域ノイズ低減又は超解像スケーリングに用いることができる超解像処理方法が開示されている。本方法はウェーブレット係数のマルチスケールグループ分けを用いるバンドレット変換に基づくものである。ここの方法の方が、非特許文献３の3D-ESCOT論文に記載されている３D変換に比べて遥かにノイズ低減又は超解像スケーリングに適している。マルチスケールのグループ分けは、例えば、ブロックマッチング又は従来の画像位置合わせ処理の任意の状態で計算することのできる可変レンジの画像位置合わせを行う。超解像スケーリング及びノイズ低減の双方にとって、使用する画像位置合わせマップがノイズやエイリアシングアーチファクトによって破損されていないことが重要である。]
[0022] 用途（補間又はノイズ低減）が何であれ、密なフローフィールドに動き補償法を用いることには、限界がある。すなわち、透明のオブジェクト又は影を含むコンテンツに対する単一の動きモデルに無関係のアパーチャ問題がある。前記特許文献１に記載されているように、ビデオ信号の空間及び時間における規則性の１つ以上の方向を各ピクセルにて検出することによってビデオの局所不変性構造を分析する方法の方が、より一般的でロバストなビデオ補間を提供する。したがって、そのような方向を、有効な手段で検出し、且つロバスト性を強化させる技術が必要である。]
[0023] 国際公開公報第２００７／１１５５８３号
米国特許第５４２８３９８号
米国特許第６９４０５５７号
米国特許第５７４２７１０号
英国特許出願公報第２１８８５１０号
国際公開公報第２００７／０５９７９５号]
先行技術

[0024] G. De Haan et al., “True-Motion with 3D Recursive Search Block Matching”,IEEE Transactions onCircuits and Systems for Video Technology, Vol. 3, No. 5, October 1993, pp. 368-379.
E. Dubois and S. Sabri, “Noise reduction in Image Sequences Using Motion- Compensated Temporal Filtering”, IEEE Transactions on Communications, Vol. COM-32, No. 7, July 1984, pp. 826-832
Xu, et al., “Three-Dimensional Embedded Subband Coding with Optimized Truncation (3D-ESCOT)”, Applied and Computational Harmonic Analysis, Vol. 10, 2001 , pp. 290-315.]
発明が解決しようとする課題

[0025] 本発明の目的は、高い正確性と高いロバスト性をもって入力ビデオストリームにおける規則性の方向を検出するのに有用な方法を提案することにある。特に、超解像のビデオ補間においては、インコヒーレントな補間方向によって通常生じるアーチファクトを回避するのが望ましい。ビデオのノイズ低減においては、ノイズにより破損されない平均化方向を選択するのが望ましい。]
[0026] 本発明の他の目的は、超解像補間又はノイズ低減処理における実施の複雑性を実質上低減させることにある。]
課題を解決するための手段

[0027] 出力ビデオシーケンスの合成画像のピクセルが、方向の所定集合（a predefined set of directions）に属する規則性の各方向に関連付けられる、入力ビデオシーケンスの分析方法を開示する。本方法は、方向の所定の集合から出力ビデオシーケンスの第１の画像の或る領域に対する候補方向の第１の部分集合を、決定するステップと、前記方向の所定集合から入力ビデオシーケンスの画像と前記候補方向の第１の部分集合とに基づいて前記出力ビデオシーケンスの第１の画像に続く第２の合成画像の対応する領域に対する候補方向の第２の部分集合を、決定するステップと、前記候補方向の第２の部分集合から前記第２の合成画像における前記領域のピクセルに対する規則性の方向を、検出するステップと備える。]
[0028] 候補方向の部分集合は、先の時間に決定した部分集合を考慮して時間再帰的に決定される。典型的には、方向を部分集合に加える又は部分集合から除くことによって生じるコスト関数の漸進的変化に応じて、方向は部分集合に加除される。画像の「領域」は、後述のように、全画像領域を含むことができ、または、その一部だけとすることができる。]
[0029] 候補方向の第２の部分集合の決定は、第１の部分集合に関連付けられた第１と第２の画像に関するコスト関数が、Vaを含みVrを除いた修正された部分集合に関連付けられたコスト関数より高くなるような、候補方向の第１の部分集合に属する方向Vrと、予め定められた、方向の集合には属するも第１の部分集合には属さない方向Vaとからなる少なくとも一対の方向を検出するステップと、この検出に対してVrを第２の部分集合から除外して、Vaを第２の部分集合に含めるステップとからなることができる。]
[0030] この手法は単純な演算と単純なデータ構造を用いることにより規則性の方向の検出を加速し、又はその実装コストを低減させることができる。これにより、動き補償型のビデオ補間において生じるアーチファクトの量が減少する。]
[0031] 一部の実施形態の一つの特徴は、新しい方向が既存の方向の部分集合を提供することにより生じる相対的な限界利得を評価することにある。これに対して、動き推定の特定の分野における既存の方法の多くは、どの変位ベクトルを既に用いたかを考慮せずに、変位ベクトルの絶対効率測度（absolute efficiency measure）のみを用いている。本方法は、より疎な方向の集合（sparser direction sets）を選出し、併せて多種のアーチファクトに対処する。]
[0032] 例えば、既知の位相相関法は、画像の領域内にて、大域的な位相相関測定に従って最適な変位を見出すことにある。特定の画像領域内においては、すべての候補変位Viは、i=1,…,n についてP(Vi)と表記することのできる関連付けられた位相相関値を有する。そして、最適な部分集合は、最大の位相相関値を有する変位を含むことになる。これは、



が最大となるような、m個の方向(Vi)i∈Sを含む部分集合を選択することに例えることができる。方向の部分集合に関する汎関数（functional）



は、分離可能である。すなわち、これは、各方向に個別に適用される汎関数の総和として表記することができる。このような選択が通常なされるのは、この場合だけ汎関数を直接最小にすることによって組合せ論的な激増を招かなくなるからである。最適な部分集合Sを位相相関の観点から求めるには、汎関数Pが最大値をとるm個の方向を単に大小順に選ぶだけである。]
[0033] しかし、汎関数が分離可能でなく、P({Vi}i∈S)としてしか表記することができない場合は、先述のような簡単なアルゴリズムを用いて最小化を行うことができない。候補方向の最適な部分集合を直接求めるのは組合せ論的に高い複雑性を有する。しかし、場合によっては、選択された部分集合にベクトル又は方向をが加除する際の汎関数の差分すなわちSとS’が１エレメントだけ異なる場合のP({Vi}i∈S)-P({Vi}i∈S’)、を算定することは依然可能である。そしてこれにより、時間再帰的な方法での汎関数の逐次的な最適化への途が開かれる。]
[0034] したがって、特定の実施形態においては、候補方向の第２の部分集合の決定は、第１の部分集合に属する個別の方向の第１の部分集合に関連付けられたコスト関数へのコントリビューションに関する第１の差分を評価するステップと、予め定められた、方向の集合に属する個別の方向を第１の部分集合に含めたことにより生じるそれぞれのデクリメントに関する第２の差分を評価するステップと、予め定められた集合に属する或る方向に関して評価された第２の差分が第１の部分集合に属する或る方向に関して評価された第１の差分を超える場合に、予め定められた集合に属する方向を第１の部分集合に属する方向と置換するステップとを含む。ここでは、グローバルコスト関数が最小化されるのに対して、位相相関法のような手法では大域的相関値が最大化されることが指摘される。]
[0035] ビデオシーケンスの超解像処理は、補間又はノイズ低減のこととすることができる。簡単なノイズ低減も可能である。]
[0036] ]
[0037] ビデオ補間の特定場合には、空間及び／又は時間に広がる一部のターゲットピクセルI^τ(ξ)はオリジナルピクセルIt(x)(τ=t, ξ=x)となり得ることもあり、I^τ(ξ)= It(x)とすることができるので、再計算をすることを要さない。値を算出しなければならないピクセルは、オリジナルピクセルIt(x)でない「新しいピクセル」(τ≠t又はξ≠x)を作るターゲットピクセルI^τ(ξ)である。]
[0038] ビデオのデインターレーシングの場合には、通常フレームレートは入力と出力のビデオシーケンスで同じなので、出力シーケンスの時間インデックスτは入力シーケンスの時間インデックスtと同じとすることができ、一般に、これら時間インデックスは整数インデックス値t, t+1, 等で示される。ビデオのデインターレーシング処理は、入力シーケンスの連続するフレームに、補間により欠落ラインを追加することにある。典型的には、入力シーケンスの奇数フレームは奇数ラインのみを有し、偶数フレームは偶数ラインのみを有する。すなわち、x=(x1,x2)に対して、入力ビデオシーケンスは、t及びx2がともに奇数又は偶数である場合にのみIt(x)を提供する。出力されるデインターレース済みのビデオシーケンスの合成フレームI^tは、ξ=(x1, x2)とし、且つ整数たるラインインデックスx2に課さないで、tとx2がともに奇数又は偶数の場合に、I^t (ξ)= It(ξ)となるようなピクセルI^t(ξ)で作られる。ビデオのデインターレーシングの目的は、tとx2のうち片方が奇数で他方が偶数である場合の、I^t (ξ)= I^t(x1, x2)の「最適な」値を補間により求めることにある。このような補間を行うに際しては、フレーム間及び／又はフレーム内の規則性の方向を検出するのが有用である。]
[0039] フレームレート変換の場合には、時間インデックスt,τは入力ビデオシーケンスと出力ビデオシーケンスにおいて同じではない。整数t, t+1, 等は入力シーケンスのフレームをインデックスするのに用いることができ、この場合、幾つかのフレームI^τは非整数値のτについて合成される。空間インデックスξ=x=(x1, x2)は、入力及び出力フレームIt, I^τにおいて同じであることがよくある。フレームレート変換後の出力シーケンスは、整数値でないτについて合成したフレームI^τを含む。そしてまた、それらの介在フレームI^τを合成するために補間が行われるのであり、それには入力ビデオシーケンスを分析することにより規則性の方向を検出するのが有用である。合成される出力フレームI^τのピクセルに対する規則性の方向を検出するためには、分析は少なくとも、非整数値の時間インデックスτの直前及び直後に位置する入力シーケンスのフレームItとIt+1に関して行われる。ここで、tはt < τ < t+1を満たす整数である。]
[0040] ビデオノイズ低減の場合には、すべてのターゲットピクセルの値は再算出しなければならない。こうした取決めの下では、超解像ビデオスケーリングとノイズ低減の組合せは、超解像ノイズ低減の一例である。簡単なノイズ低減においては、ターゲットピクセルのグリッド(ξ,τ)はオリジナルピクセルのグリッド(x, t)と同じであり、当該処理によりキャンセルされる推定ノイズ成分をvt(x)としてI^t(x)=It(x)- vt(x)となる。超解像ノイズ低減とスケーリングの組合せにおいては、ターゲットピクセルは、オリジナルピクセルのグリッド(x, t)とは異なるグリッド(ξ, τ)上に規定される。このグリッド(ξ, τ)は、通常より細かなグリッドであり、オリジナルピクセルグリッド(x, t)の上位集合として規定することができる。]
[0041] 本発明の別の態様は、コンピュータプログラム製品であって、該プログラム製品をコンピュータ処理ユニットにて実行するに際して、上記において概説したようなビデオ分析方法を実行する命令を含んでいるコンピュータプログラム製品に関する。]
[0042] 本発明のさらに別の態様は、入力ビデオシーケンスの連続画像を受信するステップと、上記において概説したような方法を適用することにより入力ビデオシーケンスを分析するステップと、検出された規則性の方向を用いて出力ビデオシーケンスを生成するステップとを有するビデオ処理方法に関するものである。]
[0043] 出力ビデオシーケンスを生成するステップは、検出された規則性の方向を用いて入力ビデオシーケンスの連続画像間で補間を行うステップを有することができる。このような補間は、ビデオのデインターレーシング又は入力ビデオシーケンスのフレームレート変換を伴からなる。別の実施形態においては、ビデオシーケンスの処理は、検出された規則性の方向を用いて入力ビデオシーケンスに対してノイズ低減処理を行うことを伴うことができる。]
[0044] 本発明の更なる別の態様は、上記に示したようにビデオシーケンスを分析又は処理するように構成した計算回路を有するビデオ処理装置に関する。]
図面の簡単な説明

[0045] ビデオ処理装置の実施形態のブロック図である。
図１の装置において用いることのできる方向選択ユニットのブロック図である。
図１及び図２の装置におけるコスト関数マージンを評価する例示的な処理手順のフローチャートである。
図３の手順において用いられるループの別の実施形態のフローチャートである。
図１及び図２の装置において候補方向アービトレイトする例示的な手順のフローチャートである。
図１及び図２の装置において候補方向の決定処理を行う例示的な手順のフローチャートである。
特定の画像部分へのフレームレート変換処理の適用を示す略図である。
特定の画像部分へのフレームレート変換処理の適用を示す略図である。
同様の画像部分へのビデオデインターレーシング処理の適用を示す略図である。
同様の画像部分へのビデオデインターレーシング処理の適用を示す略図である。
同様の画像部分へのビデオデインターレーシング処理の適用を示す略図である。
同様の画像部分へのビデオデインターレーシング処理の適用を示すものである。
本発明の一つの実施形態に基づくビデオ処理装置のブロック図である。] 図１ 図２ 図３
実施例

[0046] 図１を参照するに、ビデオ処理装置は、ビデオシーケンスの連続する画像又はフレームのデジタル表現を受信する入力部を有する。It, It+1は、離散時間t及びt+1におけるフレームを表し、It(x), It+1(x)は二次元インデックスx=(x1, x2)によって示されるピクセルに対するこれらのフレームのピクセル値を表す。如何にして時間インデックスt及び空間インデックスxを管理するかは、ビデオ処理の用途毎、例えばデインターレーシングのためなのか、フレームレート変換のためなのか又はノイズ低減処理のためなのか、で異なり得る。この問題については後に説明される。] 図１
[0047] 方向選択ユニット１０１は、時間再帰的な推定を行って前の部分集合Dτ及び連続する入力フレームに基づいて、出力フレームI^τ’に対する候補方向の部分集合Dτ’を決定する。前記「前の部分集合Dτ」は、出力ビデオシーケンスにおけるI^τ’での直前の出力フレームI^τに対して決定されたものである。例えば、デインターレーシング処理又は簡単なノイズ低減にはτ’=τ+1が、フレームレート変換又は超解像ノイズ低減にはτ’=τ+δτが用いられる。時刻τ’に部分集合Dτ’の決定に関与する入力フレームは、t ≦τ’ < t+1を満たすフレームIt及びIt+1を少なくとも含む。特定の実施形態においては、これらの入力フレームは、さらに幾つかの過去のフレームIt-1,..., It-n (n ≧ 1)を含むことができる。]
[0048] 本明細書中にて云う「方向」v=(dx,dt)とは、３D（三次元）空間における方向を意味するのであり、このうちの二次元方向は２D画像空間におけるピクセルオフセットdx=(dx1, dx2)に関連し、第３の方向は時間オフセットdtに関連する。入力されるビデオシーケンスにおける規則性の方向（directions of regularity）を求めることが所望される複数のビデオ処理用途がある。例えば、ビデオ補間を行う場合においては、特定の欠落ピクセルの近傍領域における「同様な」ピクセルに基づいて前記欠落ピクセルの値を決定しなければならない。このような近傍領域は２D画像空間及び／又は時間においてに広がることができるので、前記規則性の方向を求めることは、前記３D空間においてそれを求めることに関連する。同様に、ノイズ低減用途においては、入力ピクセルの値がノイズにより損なわれるが、その値は、近傍領域における幾つかの「同様な」ピクセルを同定できる場合には、平均化することができる。ここでも、かかる近傍領域は２D画像空間及び／又は時間においてに広げることができる。以下に述べる方法は、処理に有用である「同様な」ピクセルの値を特定するのに役立ち得る、画像を構成するピクセルに対する規則性の方向を取り出す。]
[0049] 部分集合Dτ又はDτ’はスパースジオメトリー（sparse geometry）を規定するといえる。それぞれの部分集合Dτ又はDτ’は、規則性の方向すべてを含んでいる集合Ωの部分集合である。各瞬時τ, τ’に対して用いることのできる異なる方向の数が比較的小数に限定されるため、Dτ、Dτ’により規定されるジオメトリーは、スパースであるといわれる。さらに下記に述べるように、候補方向の部分集合Dτ、Dτ’は周辺の変化に合わせて変容していく。Dτ、Dτ’における余計な方向は除かれ、ピクセル毎の処理には用いられない。]
[0050] 典型的には、集合Ωは２００から１０００もの異なる方向を含むことができる（絶対値記号を用いて集合の大きさを表せば、200 ≦ |Ω| ≦ 1000となる）。部分集合Dτ、Dτ’...の大きさは、10 ≦ |Dτ| ≦ 50の範囲に制限することができる。]
[0051] そして方向検出ユニット１０２が、方向選択ユニット１０１によって決定された部分集合Dτ’に属する候補方向だけを調べることにより、連続するフレームIt, It+1（場合によっては数個の過去のフレームIt-1, ..., It-n）に基づいて、規則性の方向{v}の分布を決定する。ΩからDτ大きさを縮小することにより、徒に高い複雑性を要さずして方向検出を行うことが可能となる。]
[0052] 最後に、ビデオ処理ユニット１０３は、検出された規則性の方向{v}を用いてビデオ処理、例えばデインターレーシング、フレームレート変換又はノイズ低減等を行って、入力フレームIt, It+1から出力ビデオフレームを出力する。]
[0053] ユニット１０２及び１０３は任意の従来又は最新鋭の方法を実行することができ、説明の完全性を担保するために簡単な例につき説明する。特に、検出ユニット１０２は、特許文献１に記載の損失関数を用いることができる。本発明の核心部は、以下に詳述する方向選択ユニット１０１にある。]
[0054] 方向選択ユニット１０１は、方向検出ユニット１０２よりも遥かに大きな方向の集合を考慮するため、興味深いやり方は、ユニット１０２より簡単なコスト関数をユニット１０１で用いることにある。換言するに、方向の部分集合Dτ’を決定するステップ（方向選択ユニット１０１）では、この部分集合から方向を選出するステップ（方向検出ユニット１０２）におけるよりも粗く推定する。これは、計算の複雑性の点から見て、又は、同様に、ASIC／FPGAのロジックサイズの点から見て、かなりの節約をもたらす。]
[0055] これは例えば、ユニット１０２での８〜１０ビットのピクセル値の代わりに、ユニット１０１での５又は６ビットのピクセル値のようにより精度の低いピクセル値の表現を用いることにより実現できる。別の可能性としては、方向選択ユニット１０１において、方向検出ユニット１０２で用いられるものよりも簡単に計算することができ、例えば、ウィンドウプロファイルが、大きな明示的有限インパルス応答（ＦＩＲ）フィルタ程多くのロジック及びメモリを要さない簡単な無限インパルス応答（ＩＩＲ）フィルタに相当するコンボルーションウインドウg（これについては後に詳述する）を用いるやり方がある。また、ユニット１０１においての部分集合の選択及びユニット１０２でのピクセル毎の方向検出にそれぞれ計算複雑性の異なるコスト関数（後述する。）を用いることができる。]
[0056] 方向選択ユニット１０１の目的は、出力シーケンスの瞬時τ’における、ビデオシーケンスの局所的規則性の有用な記述を提供する方向の部分集合Dτ’を算出することにある。最良の部分集合Dは、グローバルコスト（あるいは損失）関数L(D)を最小にするものである。ここで、L(D)は



であり、ピクセル(x)についての総和は画像領域の全体（あるいはその一部）にわたる。Dに属する候補方向vによって最小化すべきLx(v)はローカルコスト（あるいは損失）関数であり、v=(dx, dt)について以下のような多種のものがある：
絶対差分：Lx(v)=|lt(x)-lt+dt(x+dx)|
二次差分：Lx(v)=|lt(x)-lt+dt(x+dx)|2
絶対差分の加重和：



二次差分の加重和：



ここで、gはコンボルーションウインドウ関数、すなわち(0,0)の近くにおいてゼロでない値をとる関数である。]
[0057] ビデオシーケンスの２つ以上のフレームにわたるローカルコスト関数、例えば、
Lx(v)=|It(x)-It+dt(x+dx)|+|It(x)-It-dt(x-dx)|
を計算することを含む他の変形及び同様な変形も可能である。]
[0058] 便宜上、方向の集合に関するローカルコストLx(D)を、その集合に属するすべての方向にわたる最小の損失関数、すなわち、



と表される。]
[0059] 或る方向を部分集合Dに加える値は、既にその部分集合に存在している方向に依存するものであるため、式（１）を最小にする部分集合Dを求めることは、組合せ論的に極めて複雑であることに注意されたい。この困難性を克服するために、増分アプローチを提案する。最小化は、周辺の変化のみをDτ, Dτ’, ...に時間内に与えることによって時間再帰法を用いてなされる。]
[0060] 方向選択ユニット１０１は、図２に図示されているように、可能な、方向の集合Ωに属する幾つかの異なる方向vに対するマージンm(v)を評価するためのブロック２０１とマージンm(v)に基づいてDτに属するどの方向をDτ’から除外すべきか及びΩ-Dτに属するどの方向をDτ’に加えるべきかを決定するアービトレイションブロック２０２とを有する。Dτ’を得るためにDτに加えられるべく選ばれる方向vは、該方向vが式１のコスト関数L(D)を改善（低減）させることに如何に貢献するかに応じて選ばれる。同様に、Dτから除外すべき方向vは、該方向が前記コスト関数L(D)を低減させることに如何に少なく貢献するかによって選ばれる。] 図２
[0061] 如何なる要素がDτ’に含まれるかは、Dτ’を形成し得る様々な組合せDについてL(D)を評価することによっては決定することができ得ない。しかし、Ω-Dに属する新たな方向vをDに加える際に、L(D)がどのように変化するかは、m(v|D)と表記される、既存の方向の部分集合Dに対しての方向vのマージンを用いることにより、推定することができるのであり、方向vのマージンは、



と表され、ここに、D+{v}は集合Dと単集合{v}との和集合を意味する。換言するに、m(v|D)は、新しい方向が、方向の部分集合Dによって既に得たコスト関数（１）の値を下げるのに如何に多く貢献するかの目安となる。マージンm(v|D)は



を用いて計算することができ、Dに対してのvの位置xにおけるローカルマージンmx(v|D)は、次のようになる。
・Lx(v) ≧ Lx(D)の場合、即ちvがピクセル位置xにおいてのコスト関数を最小にするのにDに既にDに存在している方向よりも良いものでない場合は、mx(v|D)=0となり、
・そうでない場合には、mx(v|D)=Lx(D)-Lx(v)となる。]
[0062] 固定のD及び各々のxについて及びΩ-Dにおける各々の候補vについてのマージンmx(v|D)を計算することは、Lx(D)及びLx(v)の値を決定することによりできる。そして、mx(v|D)の累積和（running sum）を更新することによりm(v|D)を計算する。]
[0063] Dτ’を計算するために、新たな方向vaを加えて、Dτから既に選択して方向vrを除く場合を



として考えてみよう。]
[0064] 上記のような変換により式（１）のグローバルコスト関数にもたらされる低減は交換マージンMexch(Va, Vr)として、



と表すことができる。]
[0065] Mexch(Va, Vr) ≧ 0、すなわち、m(va|Dτ) > m(vr|Dτ-{vr}+{va})であれば、Dτ中のvrをvaと交換することによりグローバルコストを低減させることができるのであり、vrとvaとを交換する意義がある。このような様々なマージンを計算することは十分に実現可能であるが、さらに計算量を大幅に低減させることができる。これは、「vaが、vrよりもグローバルコストの大きなマージナル低減をもたらすのであれば、交換を行うことが合理的である」ということである。このような手法においては、式（５）における正確なマージンm(vr|Dτ-{vr}+{va})を計算する代わりに、幾つかの近似計算を用いることができる。]
[0066] 第１の近似計算においては、m(vr|Dτ-{vr}+{va})をm(vr|Dτ-{vr})と置換する。以下の不等式を常に検証する。]
[0067] この近似計算によって得られる複雑性のゲインはかなりなものである。計算しなければならないマージンの数のオーダーは|Ω-D|×|D|に代わって|D|となる。この近似計算を用いて以下のような交換マージンM’exch(Va, Vr)を導出することができる。]
[0068] 式（７）における交換マージンM’exch(Va, Vr)は式（５）における実際の交換マージンMexch(Va, Vr)を上回らないことに注意されたい。近似交換マージンM’exch(Va, Vr)が負でなければ、実際の交換マージンMexch(Va, Vr)も負でない。したがって、式（７）に基づいて決定した交換は式（５）の観点からしても間違いであることはない。]
[0069] 図３は、式（７）にて用いられるマージンm(va|Dτ)及びm(vr|Dτ-{vr})を評価するのにブロック２０１が用いることのできる処理手順を示すフローチャートである。図３においては、方向選択ユニット１０１によって受信された新しい入力フレーム毎に候補方向の１つの部分集合Dτ′が決定されるものとする。この仮定は、ビデオのデインターレーシング、簡単なノイズ低減（すなわち、τ=t, τ′=t+1）又はフレームレート倍増（例えば、τ=t-1/2, τ′=t+1/2）にとって有効である。比率２以外のフレームレート変換への一般化は簡単である（図３に示されるような、処理手順が、生成すべき新たな各出力フレームに対して通常行われる。上記仮定により新しい出力フレームのレートが入力フレームのそれと同じになるため、上記仮定は説明を明瞭にするだけのものである）。この仮定により、処理手順においては時間再帰的であるため、タイムインデックスt-1、t及びt+1を省略することができる。さらに、方向v(=vr)がD(=Dτ)内に含まれており除くことができるのであれば、m(v)はm(vr|Dτ-{vr})を表し、方向v(=va)がΩ-Dに含まれ、Dに加えることができるのであれば、m(v)はm(va|Dτ)を表す。マージンm(v)は、処理手順の初期化３０１においてゼロに設定される累積和を更新していくことにより、Ωに含まれるすべての方向vに対して評価される。] 図３
[0070] 処理手順は、フレームアレイIt及びIt+1のピクセルxを１つずつ走査していくのであり、ステップ３０２では最初のピクセルxが選択される。ピクセルxに関する方向D(=Dτ)についての累積和を更新するために、最初のループ３１０が、Dに属する方向vについて実行される。この最初のループは、Dにおける最初の方向vを選んで変数Aを任意の大きい値（例えば、それがとることのできる最大値）に設定することによりステップ３１１において初期化される。ループ３１０の終了時には、変数Aには式（２）において規定されるLx(D)の値が格納されている。]
[0071] ループ３１０の反復毎に（ステップ３１２）、ピクセルx及び方向vに対する、ローカルコストLx(v)が取得され、変数Lにロードされる。ステップ３１２において、ブロック２０１は、例えば、上記の幾つかの方法のうち１つによってLx(v)を計算するか、又はコストLx(v)の値が予め計算されていたのであればメモリからそれを取り出してくることができる。LがAよりも小さいかを評価するために検査ステップ３１３が行われる。L < Aならば、方向インデックスvが変数uに保存され、変数Bが変数Aの値をステップ３１４において渡される。そして、値Lが変数Aにステップ３１５において割り当てられる。ループ３１０の終了時には、変数uは、Lx(v)を最小にする、Dに属する方向vのインデックスすなわち



を含み、変数Bは Dに属する方向vについてのLx(v)の二番目に小さい値、すなわち



を格納しているのである。検査３１３においてL ≧ Aならば、ローカルコストが検査ステップ３１６でBと比較される。A ≦ L < B（すなわち、検査ステップ３１６の結果が真）ならば、変数Bはステップ３１７にて値Lで更新される。検査３１６においてL ≧ Bである場合又はステップ３１５若しくはステップ３１７の後には、Dのすべての方向vがスキャンされたかを確認するためにループ終了検査３１８が行われる。すべての方向がスキャンされていなければ、Dに属する別の方向vがステップ３１９において選ばれ、もう一度ループ３１０を反復するために、処理手順はステップ３１２に戻る。]
[0072] ループ３１０が終了すると、ピクセルxにおいてローカルコストを最小にするDτに属する方向uのマージンm(u)は、このマージンにB-Aの値を加算することにより更新される（ステップ３２１）。ピクセルxに関する限り、Dからuを除くとその分だけコストを下げることになるが、Dの他の方向に対するマージンは、影響を受けないままになる。]
[0073] 次に、ピクセルxに対する処理を、Ω-Dに属する方向についてのピクセルxに関する累積和を更新するために、Dに含まれていない可能な方向vについて、第２のループ３３０によって続行する。]
[0074] 第２のループは、ステップ３３１においてΩ-Dにおける第１の方向vを選択することにより、初期化される。各反復において（ステップ３３２）、ピクセルx及び方向vに対するローカルコストLx(v)は、変数Aにロードするために算定されるか検索される。その後、LがA=Lx(D)より小さいかを評価するために検査ステップ３３３が実行される。L < Aならば、ピクセルxに関してDにvを加えることによって得られるコスト関数の向上を加味するために、方向vに対するマージンm(v)を、それにA-Lの値を加えることによって更新される（ステップ３３４）。検査ステップ３３３においてL ≧ Aである場合又はステップ３３４の後には、Ω-Dに属する方向vのすべてがスキャンされたかを確認するためにループ終了検査３３５が実行される。すべての方向がスキャンされていないのであれば、Ω-Dに属する別の方向vがステップ３３６において選択され、処理手順はループ３３０の反復の為ステップ３３２に戻る。]
[0075] ループ３３０が終了すると、関連するフレームアレイのすべてのピクセルxがスキャンされたかが検査ステップ３４１において判断される。すべてのピクセルがスキャンされていないのであれば、アレイの別のピクセルxがステップ３４２において選択され、処理手順はステップ３１１に戻る。現フレームについてのブロック２０１の動作は、検査ステップ３４１において全部のピクセルが処理されたことが確認された際に終了する。]
[0076] 従って、各々の新しい入力フレームIt+1毎に、ブロック２０１はΩに属するすべての方向vに対するマージンm(v)、すなわち、Dに属する方向に対する除外マージン及びΩ-Dに属する方向に対する追加マージンを出力する。]
[0077] 入力ビデオシーケンスの初めに処理手順を初期化するために、部分集合Dは任意の内容を有することができ、あるいはその内容は最初の数個のフレームに対して粗い方法により決定することができる。選択処理手順の時間再帰性のために、正しい部分集合が迅速に構築される。]
[0078] ブロック２０１の複雑性をさらに低減させるために、第２の近似計算を用いることができる。この近似計算においては、m(va|Dτ)は変形マージンm*(va|Dτ)と置換する。式（４）と同様に、変形マージンm*(va|D)はローカル変形マージンm*(v|D)のピクセル毎の総和であり、すなわち



と表され、ローカル変形マージンm*(v|D)は次のように規定される。
・Lx(v) < Lx(Ω-{v})の場合、すなわち、ピクセル位置xにおけるコスト関数を最小にする観点からして、vがΩの中で最良の方向である際にはm*x(v|D)=Lx(D)-Lx(v)とする。
・そうでない場合は、m*x(v|D)=0とする。]
[0079] 第１及び第２の近似計算を用いて変形交換マージンM*exch(va, vr)を次のように導出することができる。]
[0080] ここにおいても、式（６）及びm*x(va|D) ≦ mx(va|D)であることからして、変形交換マージンM*exch(va, vr)は実際の交換マージンMexch(va, vr)を超えることはない。したがって、式（９）に基づいた交換が、式（５）の観点からしても間違いではない。]
[0081] 変形マージンm*x(va|D)は、安上がりの計算又は回路により算出することができる。なぜなら、各ピクセル位置xに対して、単一の絶対的な最良の方向に対応する多くても１つの累積和を更新するだけで済むのに対して、非変形のマージンmx(va|D)では、そのようなウイナーの数が最悪の場合において（図３の検査ステップ３３３が常に真の値をとる場合に）、|Ω-D|と等しくなるからである。ハードワイヤードASIC又はFPGA回路を用いる実装においては、ロジックサイズに対する影響が重大である。同じ理由からして、ソフトウェア実装での最悪の場合における実行時間に対する影響も重要である。] 図３
[0082] 第２の近似計算においては、図３における処理手順は、ループ３３０を図４に図示した変形ループ４３０と置き換えることにより変更する。Ω-Dに属する第１の方向vを採用して別の変数A*の値としてA=Lx(D)を設定することによって、ループ４３０は、ステップ４３１（ステップ３３１の代わりに）において初期化される。ループ４３０の終了時に、変数A*は、Ωに属する全方向vに対するLx(v)の最小値、すなわちLx(Ω)、格納していることになる。] 図３ 図４
[0083] 各反復において、ピクセルx及び方向v∈Ω-Dに対するローカルコストは、ステップ４３２において変数Lにロードするために算定されるか又は探索される。そして、L がA*より小さいかを評価するために検査ステップ４３３が実行される。L < A*ならば、ステップ４３４において、上述の変数uが方向インデックスvを含むように更新され、Lの値が変数Aに割り当てられる。ステップ４３３においてL ≧ Aである場合又はステップ４３４の後においては、Ω-Dに属する方向vのすべてがスキャンされたかを確認するためにループ終了検査４３５が実行される。そうでなければ、Ω-Dに属するさらに別の方向vがステップ４３６において選択され、処理手順はもう一度ループ４３０を反復するためにステップ４３２に戻る。]
[0084] ]
[0085] 複雑性の低減は、更新ステップ４４１がループ４３０外で行われることに起因する。この単純化のマイナス点は、Ω-Dに属する最善ではない方向に対する精度が多少喪失することにあるが、このことは、ビデオシーケンスに実際に関連する方向を最終的に明らかにする処理手順の時間再帰性の観点におけるほど重大な問題とはならない。]
[0086] マージンm(v)をブロック２０１によって算出した候補方向vをアービトレイトするのに、ブロック２０２は様々な処理手順を適用することができる。]
[0087] 図５に示された簡単な例では、ブロック２０２は、ブロック２０１により算出したような最低のマージンm(v)を有し、従ってDτから除外する最良の候補となる方向vを部分集合D=Dτに属する方向vのうちから選択される（ステップ５０１）。ブロック２０２はまた、Ω-Dに属する方向wで、マージンm(w)が一番高いもの、すなわちDτ′に含める最良候補、である方向wを選択する（ステップ５０２）。m(w) > m(v) ならば（検査ステップ５０３）、ステップ５０４において交換が行われ、Dτ′=Dτ-{v}+{w}となるようにvはDに属しているwと置き換えられる。検査ステップ５０３においてm(w) ≦ m(v)ならば、交換がなく、Dτ′=Dτとなる。] 図５
[0088] 図６は、ブロック２０２が一対以上の方向を互換できる別の手法を示す。ステップ６０１では、部分集合D=Dτのうち最低のマージンを有するn個の方向v1, v2, ..., vnを選択し、マージンの昇順、すなわちm(v1) ≦ m(v2) ≦ ... ≦ m(vn)の順にソートする。数nは1から|D|までの整数とすることができる。n=1の場合、図６における処理手順は、図５における処理手順と同じものとなる。ステップ６０２では、Ω-Dのうちの最高のマージンを有する方向w1, w2, ..., wnを選択し、マージンの降順、すなわち、m(w1) ≧ m(w2) ≧ ... ≧ m(wn)の順にソートする。そして、どれほどの方向対を交換できるかを決定する。例えば、ステップ６０３においてループインデックスi(i=1)を初期化した後、ブロック２０２は検査ステップ６０４においてマージンm(wi)とm(vi)とを比較する。Ω-Dに属する方向wiがDに属する方向viよりも良ければ、すなわちm(wi) > m(vi)ならば、ステップ６０５において交換が行われ、Dにおけるviがwiに置き換えられ、次に検査ステップ６０６にてiがnと比較される。i < nならば、すべての方向対は検査されていないのであり、次の対を新たな検査ステップ６０４において検査する前に、ステップ６０７においてiをインクリメントする。検査ステップ６０４において、あるi < n に対してm(wi) ≦ m(vi)であることが判明した場合又は検査ステップ６０６においてi=nの場合に、処理手順は終了する。n′個（n′≦ n）の方向の対が互換された場合には、更新された方向の部分集合はDτ′= Dτ-{v1, ..., vn′}+{w1, ..., wn′}となる。] 図５ 図６
[0089] １つの実施形態においては、方向検出ユニット１０２によって規則性の方向を検出したら、所与の閾値T以上のマージンm(v)を有する方向vのみを用いる。これは、ブロック２０２によってDτ′を一旦決定したら、方向検出ユニット１０２においてDτ′のうちの、m(v) < Tとなるような方向vを無視することによって容易に行うことができる。]
[0090] あるいは、m(w) が閾値T未満である場合に、Ω-Dτのうちの新しい方向wをDτ′へ加えないようにすることもできる。これを行うには様々な方法がある。例えば、図６の処理手順を用いる場合に、数nは、1 ≦ i ≦ nとなるすべてのインデックスiに対してm(wi) > T なるような{1, 2, ..., |D|}における最大の整数として設定することができる。] 図６
[0091] 閾値Tの使用は、候補方向の集合を絞り、ビデオの幾何学的複雑性に見合った数の候補方向を選択すること、すなわち、ビデオに適したもっとも疎な方向集合を選択するのに役立つ。]
[0092] 図７及び図８は、ビデオ処理ユニット１０３が補間、より具体的には出力ビデオシーケンスと入力ビデオシーケンスのフレームレートの比率を二倍にするフレームレート変換、を行う場合の、本発明の一つの実施形態によってもたらされる結果を示す。] 図７ 図８
[0093] この例におけるビデオシーケンスは、水平にスクロールする文字列「Sweeet」のキャプションである。７０１と８０１は時刻tにおける画像を示し、７０３と８０３は時刻t+1における画像を示し、７０２と８０２は時刻τ′=t+1/2における合成画像を示しており、図７は不整合の補間の場合、図８は正しい補間の場合である。画像７０１/８０１と７０３/８０３（時刻tとt+1）との間において、「Sweeet」の文字列全体は１０ピクセル分左へスクロールしている。不整合の考えられる原因は、文字列が文字「e」を８ピクセルの周期性で数回有しており、方向検出ユニット１０２が、時刻tにおける最初の「e」と時刻t+1における次の入力画像の別の「e」と同じように見ることにより誤った検出をしてしまい、７０２に示すようなアーチファクトをもたらすことにある。] 図７ 図８
[0094] 図７及び図８の例では、ユニット１０１において用いられるコスト関数を中心として、Ωはdt=1/2でv=(dx, dt)の方向のみを含む。そうすると、位置x及び時刻τ′=t+1/2における方向v=(dx, dt)のコストは、例えば、Lx(v)=|Iτ′-dt(x-dx)- Iτ′+dt(x+dx)|=|It(x-dx)-It+1(x+dx)|、又は、好ましくは、非負の空間窓関数gでの畳込みにより、このコストが窓化されたものとなる。このシーケンスに関しては、局所的処置によって２つの規則性の方向、すなわち、v(1)=(dx1(1), dx2(1), dt(1))=(-5, 0, 1/2)及びv(2)=(dx1(2), dx2(2), dt(2))=(-1, 0, 1/2)を求めることができる。] 図７ 図８
[0095] 一旦ユニット１０２によって時刻τ′=t+1/2におけるピクセルxについての方向v=(dx, 1/2)が検出されると、ユニット１０３において行われるフレームレート変換の為の補間は、I^τ′(x)= I^t+1/2(x)=[It(x-dx)+It+1(x+dx)]/2を計算することにある。]
[0096] 図７においては、スパースジオメトリーを用いてないため、検出ユニット１０２においてはΩに属する方向のすべてが考慮されると仮定する。文字列の最初の「e」と第３番目の「e」との間の幾つかのピクセルについては、検出される方向が時刻tにおける最初の「e」を時刻t+1における第２番目の「e」に関連付ける可能性がある（図７のマス目参照）のであり、また、時刻tにおける第２番目の「e」を時刻t+1における第３番目の「e」に関連付ける可能性があり、不正確な時間的補間を招くことになる。参照符号７０２は、この不正確な補間により生じたアーチファクトを有する不正確な画像を示す。検出された双方の方向v(1)、v(2)に対応する補間値を合成することを伴う簡単な次善策によっても問題は解決されない。] 図７
[0097] ユニット１０１においてスパースジオメトリーのDτ′を用いることが、この問題を克服するのに役立つ。実際に、部分集合Dτが方向v(1)=(-5, 0, 1/2)を含んでいなければ、文字「S」、「w」及び「t」のスクローリングを占めるのはv(1)のみであるため、Dτ′に関してv(1)のマージンは、高いものとなる。したがって、v(1)がある時刻τ′にDτ′に含まれようにする。このようにすると、v(1)は、すべての「e」を含むすべての文字についての、ビデオの可能性のある方向となるため、v(2)=(-1, 0, 1/2)のマージンは極めて低くなるか、あるいはゼロにもなるのである。なぜならば、v(2)が可能性のある方向であるがv(1)はそうでないという領域がビデオ内に存在しないからである。結果として、方向v(2)は集合Dτ′から除外されて、検出ユニット１０２では考慮されないか又は無視される。その理由は、そのマージンが閾値T以下であるためである。正しい補間が８０２に示すよう算出される。]
[0098] 時間的補間は２つの元のフレーム間の中間時刻以外においても行うことができることに注意されたい。例えば、５０Hzと６０Hzのフレームレート基準間の変換用途においては、hを１，２，３，４又は５のいずれかとした時刻τ=t+h/6において補間を行う。次に、ユニット１０１及び１０２において用いられる損失関数をそれ相応に修正させることができる。]
[0099] 図９〜図１２は、図７及び８に類似した図であり、本発明の実施形態の超解像ビデオデインターレーシングへの応用を図示している。] 図１０ 図１１ 図１２ 図７ 図９
[0100] 図９〜図１０は、ビデオ処理装置の入力におけるインターレースされたビデオフォーマットで、スクロールする同じ文字列「Sweeet」を表示している。参照符号９０１、１００１、１１０１及び１２０１は、時刻t-1における偶数入力フィールドを示し、参照符号９０３、１００３、１１０３及び１２０３は、時刻t+1における次の偶数入力フィールドを示し、参照符号９０２及び１００２は、時刻tにおいて介在する奇数入力フィールドを示す。デインターレーシングの目的は、時刻τ′=tにおいて偶数及び奇数ラインの双方を含んでいる完全なプログレッシブフレームを合成するために、時刻tにおける偶数ラインを算出することにある。] 図１０ 図９
[0101] 図９〜図１２の例においては、ユニット１０１において用いられるコスト関数を中心として、Ωはdt=1及びdx2を偶数とした方向v=(dx1, dx2, dt)のみを含むことができる。そうすると、位置ξ=x=(x1, x2)及び時刻τ′=tにおける、Ωに属する方向v=(dx, dt)のコストは、例えば、Lx(v)=|It-dt(x-dx)-It+dt(x+dx)|、又はこのコストの窓化されたものとなる。このシーケンスに関しては、v(1)=(dx1(1), dx2(1), dt(1))=(-5, 0, 1)及びv(2)=(dx1(2), dx2(2), dt(2))=(-1, 0, 1)を含む複数の規則性の方向を先験的に求めることができる。] 図１０ 図１１ 図１２ 図９
[0102] 一旦ユニット１０２によって時刻τ′=tにおけるピクセルxについての方向v=(dx, 1)が検出されると、ビデオ処理ユニット１０３において行われるデインターレーシングの為の補間は、I^τ′(ξ)= I^t(x)=[It-1(x-dx)+It+1(x+dx)]/2を計算することにある。]
[0103] 図１１においては、再度、選択ユニット１０１がスパースジオメトリーを用いずにΩに属する方向のすべてを検出ユニット１０２に供給すると仮定する。検出ユニット１０２は、v(1)= (-5, 0, 1)とv(2)= (-1, 0, 1)とを適切に判別することができずに、出力は、１１０２に示すように転位タイプのアーチファクトをまたしても表示することになる。] 図１１
[0104] 図１２は、選択ユニット１０１により方向v(1)= (-5, 0, 1)のみをスパースジオメトリーに維持し、余分な方向v(2)= (-1, 0, 1)は分析の選択段階にて排除する場合の、より良いデインターレーシングの結果を示す。] 図１２
[0105] あるいは、デインターレーシング用途においては、より一層明確に方向を捉えるために、時刻τ′=tにおけるピクセル値を計算する際に、dt=2という値をΩに属する方向に用いて、t-2とt+2の間で方向を計算することができる。これは、方向v=(dx, 1)と方向2v=(2dx, 2)が補間において同じように用いられることを意味する。インターレースされたソースのパリティー制約のために、対応する損失関数|It-2(x-2dx)-It+2(x+2dx)| を計算することができる。ユニット１０２によって方向2v=(2dx, 2dt)=(2dx1, 2dx2, 2dt)を検出する場合には、半方向vの垂直座標dx2は奇数とすることができる。これにより、半ピクセルの垂直速度を有するビデオシーケンスを適切にデインターレーシングできるようになる。方向選択ユニット１０１及び方向検出ユニット１０２においてこのような方向記述を参照すれば、処理ユニット１０３はI^τ′(ξ)を
I^τ′(ξ)= I^t(x)=[It-2(x-2dx)+It+2(x+2dx)]/2
として補間することができる。]
[0106] 使用する方向測定は、dt=1又はdt=2の時間ステップを伴うことができる。これは、様々な方向及び異なる時間的オフセット（１、２又はそれ以上）を比較することに相当する。]
[0107] デインターレーシング用途における別の可能性は、フィールドが時間的に等間隔で撮影される場合、関連する方向に加えて、フィールドが時間的に不規則な間隔で撮影される場合の方向に対するコストを計算することにある。例えば、これはビデオコンテンツのオリジナルソースを、「テレシネ」によりビデオに変換されたフイルムとする場合である。例えば、ヨーロッパで用いられている２：２テレシネでは、２５ｆｐｓ（コマ／秒）のフィルムを５０ｆｐｓのビデオに変換する際に、各フィルムのコマは２つのビデオフィールドを生成するのに用いられ、したがって、フィールドI0, I1, I2, I3は、元がビデオであるコンテンツの場合の時刻０/５０s、１/５０s、２/５０s、３/５０sにおいてではなく、それぞれ時刻０s、０s、２/５０s、２/５０sにおいて撮像される。さらに、ビデオ信号は、元がフィルムのコンテンツと元がビデオのコンテンツとの混合を含むことができ、したがって、この検出はピクセル毎に行う必要がある。所与のピクセルに対して、ビデオがフィルムからのものであるか否か、また、直前又は直後のフィールドが同じフイルムのコマから生じたものか否かを検出するための特定のローカルコスト関数を選定することができる。この場合、各ピクセルでの方向は以下のいずれかの態様となる。
・（フィルム‐直前）
・（フィルム‐直後）
・（ビデオ、v）
ここで「フィルム‐直前」とは、所与のピクセルの位置においては、コンテンツがフィルムからのものであり、直前のフィールドは同じフィルムフレームのものであることを意味し、したがって欠落ピクセルは直前のフィールドの同じ位置から取得することができる。ここで「フィルム‐直後」とは、所与のピクセルの位置においては、コンテンツがフイルムからのものであり、直後のフィールドが同じフィルムフレームのものであること意味する。ここで「ビデオ、v」とは、そのピクセルの位置においては、コンテンツがビデオからのものであり、方向ベクトルがvであることを意味する。この説明は、「方向」が単一の３Dベクトルvよりも複雑な局所的記述子を用いて定義できる別の場面も例示する。この場合においては、「方向」は（フィルム‐直前）、（フィルム‐直後）、（ビデオ、v）のいずれかのシンボルであり、vはベクトルである。]
[0108] 超解像ビデオノイズ低減処理においては、図１の処理ユニット１０３は、各ターゲットピクセルξ,τについてその新しい値を、ξにおける方向平均化関数Kvを



と共に用いて求める。ここで、総和はξ=x, τ=tとなる入力グリッドのあるポイント(x, t)のピクセル(ξ,τ)を含む(ξ,τ)の近傍にある入力画像の全ピクセル(x, t)について取られるのであり、Kvは局所方向v=(dx,dt)に依存する。例示実施形態においては、平均化関数Kvは方向v=(dx, dt)に沿う方向平均化関数である。例としては、関数
Kv(x, t)=K1(t)×K2(x-t.dx/dt)
がある。ここで、K1とK2とはそれぞれ1D及び2Dの平均化カーネルであり、例えばガウシアンである。] 図１
[0109] 別の実施形態においては、処理ユニット１０３において行われるビデオ処理では、方向検出ユニット１０２から一定ではない数の方向が供給される。これらの各方向それぞれは、関連性尺度を伴うことができる。方向の数が０の場合は、フォールバック補間関数又は平均化関数を用いることができる。方向の数が１より多い場合、ターゲットピクセル値は、各方向に対応する各補間関数又は平均化関数によって算出したピクセル値を合成することにより算定することができる。この合成は、平均化か、関連性尺度、メジアン或いは加重メジアンを用いる加重平均化か、又はこれらのピクセル値を合成する他の任意の方法によって行うことができる。]
[0110] 別の例示的な実施形態においては、方向v=(dx, dt)に沿ったノイズ低減処理は、無限インパルス応答(IIR)フィルタリングを含む既知の任意の方向性フィルタリングとすることができる。]
[0111] ]
[0112] 方向選択ユニット１０１の実施形態においては、候補方向の集合Ωは複数の部分集合Ω1, ..., ΩJ (J > 1)に区分され、選択された方向の部分集合Dτ′に入れるべき候補方向の提供に際して、部分集合Ω1, ..., ΩJのうち１つのみが、各時刻τ′において方向選定ユニット１０１によって考慮される。これは、各サイクルτ′にて候補方向の全てをスキャンするのには、集合Ωが多き過ぎる場合には、興味深い。例えば、部分集合Ωj (1 ≦ j ≦ J)を考慮する時刻においては、図３のループ３３０又は図４の４３０は、Ωjに含まれているがDには含まれていない方向vについて実行される。] 図３ 図４
[0113] 特定の場合においては、画像領域の全体についての大域的部分集合Dτ′の選択に加えて、画像サポートを、例えば、短形領域として規定されるピクセルの複数ウィンドウWp,q、すなわち、
Wp,q = {(x1,x2): w×(p-1)に分割することが興味深いものとなる。ここで、h及びwはそれぞれピクセル換算でのウインドウの高さ及び幅であり、ウインドウインデックスp, qは1 ≦ p ≦ P, 1 ≦ q ≦ Qの範囲にある。ウィンドウの総数はP×Q個である。P = Q = 1である場合においては、先述したような画像領域全体を構成するウインドウは僅か１つである。各ウインドウWp,q内の各方向vに対して、式（４）に似ている以下の式（１０）を用いてマージンmp,q(v|D)を計算することができる。ただ、当該式に関しては、このウインドウWp,qに限定される画像領域にわたる総和が取られる。]
[0114] これらのマージンを用いて、局所的な、方向の部分集合Dτ′,p,q⊂Dτ′を計算することができる。従って、候補となる方向の第３の部分集合Dτ′,p,qは、入力画像It及びIt+1におけるウインドウWp,qのピクセルについて算出したコストマージンmp,q(v|D)に基づいてIt+1の全領域に対して決定した第２の部分集合Dτ′の部分集合として決定される。方向検出ユニット１０２がいずれかのウインドウWp,q内にある、ピクセルξ= xにおいての方向を検出した場合には、Dτ′,p,qからの候補方向のみが考慮される。これは不適切な方向を回避するために検出のロバスト性を向上させることに役立つ。図７〜図１２の例を参照するに、この選択は、不適切な方向(-1, 0, 1/2)[又は(-2, 0, 1)]を除外し、正しい方向(-5, 0, 1/2)[又は(-10, 0, 1)]のみを用いることを可能とする。シーンがより複雑であり、像の別の個所でオブジェクトが規則性の方向(-1, 0, 1/2)を示す場合、このベクトル(-1, 0, 1/2)はDτ′内に存在することになり、ユニット１０１においてなされた選択の利益が、スクロール文字を適切に処理することの犠牲として失われることもある。より小さいウインドウWp,qで選択マージンを再算出すれば、そのようなウインドウWp,qがスクロール文字と単一の規則性の方向(-1, 0, 1/2)有しているオブジェクトとの両方を含む確率が非常に低くなる。] 図１０ 図１１ 図１２ 図７ 図８ 図９
[0115] 小さすぎるウインドウWp,q（例えば、図７〜図１２の場合において、１つか２つの“e”だけにわたる領域）を用いる場合には、小さすぎるウインドウのために選択が難しくなり、規則性の２つの異なる方向をもはや判別できなくなる。この問題点を回避するために、イメージサポートを再帰的にウインドウに分割し、各ウインドウをサブウインドウに分割するマルチスケールの選択スキームを工夫することができる。各ウインドウに対して、方向の部分集合は、親領域（全画像又は上位レイヤーのウインドウ）に対して選択された方向の部分集合の部分集合として選択される。マルチスケールの選択スキームにおいては、１つ以上のウインドウWp,qがさらに複数のサブウインドウWp,q,r,sに分割され、各サブウインドウに対して、候補方向の第４の部分集合Dτ′,p,q,r,sが、入力画像It及びIt+1におけるサブウインドウWp,q,r,sのピクセルに対して算出した下記のコストマージンmp,q,r,s(v|D)を基準にして、ウインドウWp,q′に対して決定した第３の部分集合の部分集合として決定されるのであり、前記コストマージンは、



である。
そして、出力画像I^τ′のサブウインドウWp,q,r,sのピクセルに対する規則性の方向は、場合によってはウインドウの再帰的分割の１回以上の反復の後の部分集合Dτ′,p,q,r,sから検出される。] 図１０ 図１１ 図１２ 図７ 図８ 図９
[0116] 幾つかの実施形態においては、選択された方向の部分集合Dτ′は、様々な条件を満たすために制約することができる。例えば、
‐幾つかの特定の方向（例えば典型的には、(0, 0, 1)）は、これらの方向に関連付けられたマージンにかかわらず、永続的にDτ′内に留めることができる。
‐方向の集合ΩもR個のクラスターΩ(1), ..., Ω(R)に分けることができ、各クラスターΩ(r) (1 ≦ r ≦ R, R > 1)に対し、１つ又は限定数の方向のみを部分集合Dτ′に含めるように選択する旨の制約を強制することができる。]
[0117] 上述の実施形態は汎用マイクロプロセッサ又はデジタルシグナルプロセッサにより実行されるソフトウェアによって実装することができ、この場合、図１〜図６を参照して上述したモジュールはソフトウェアのモジュール又はルーチンの一部を成すものであると理解することができる。上記実施形態は、図１３に示したように、ハードウェアのコンポーネントとして、例えば、ビデオストリームを補間するための特定用途向け集積回路（ASIC）若しくはフィールドプログラマブルゲートアレイ（FPGA）内に、ビデオ補間ブロック１３０３の前及び／又は後に、他のビデオ処理ブロック１３０２，１３０４を加えて実装することもできる。あるいは、ビデオ処理ブロック１３０３は上述したようなノイズ低減処理方法を実装することもできる。例示的な実施形態においては、ビデオ処理ブロック１３０２、１３０３及び１３０４を単一チップ１３０１内に実装する。このチップはビデオ入力と出力のインターフェース及び処理ブロック１３０２、１３０３及び１３０４によって実行される様々なビデオ処理ステップに必要な一時記憶装置としての外部RAM（ランダムアクセスメモリ）装置１３０５及び１３０６も有する。この実施形態の他の変形は本発明の一部と等価なもの、すなわちより完全なビデオ処理チップを伴った場合やさらには別の機能を有するシステムオンチップ装置、として捉えることができる。そして、これらのハードウェアデバイスは様々な種類のビデオ機材に組み込むことができる。] 図１ 図１３ 図２ 図３ 図４ 図５ 図６
[0118] 上記において本発明の例示的な実施形態を詳細に説明したが、当業者にとっては様々な代替、改良及び等価物が自明であろう。したがって、上記の説明は、添付される請求の範囲によって規定される本発明の範囲を限定するものとして捉えらるべきではない。]

权利要求:

請求項1
出力ビデオシーケンスの合成画像のピクセルを、予め定められた方向の集合（Ω）に属する規則性の各方向に関連付けるために、入力ビデオシーケンスを分析する方法であって、当該方法は、前記予め定められた方向の集合から、前記出力ビデオシーケンスの第１の画像(I^τ)における或る領域に対する候補方向の第１の部分集合（Dτ）を決定するステップと、前記予め定められた方向の集合から、前記入力ビデオシーケンスの画像(It, It+1)と前記候補方向の第１の部分集合（Dτ）とに基づいて、前記出力ビデオシーケンスの前記第１の画像に続く第２の合成画像 (I^τ′)の対応する領域に対する候補方向の第２の部分集合(Dτ′)を決定するステップと、前記第２の合成画像における前記領域のピクセルに対する規則性の方向を、前記候補方向の第２の部分集合から検出するステップを含む入力ビデオシーケンスの分析方法。
請求項2
前記候補方向の第２の部分集合(Dτ′)を決定するステップは、vrが、前記候補方向の第１の部分集合(Dτ)に属するものであり、vaが、前記予め定められた方向の集合（Ω）に属するも、前記第１の部分集合には属さないものであり、前記第１及び第２の画像(I^τ, I^τ′)の前記領域に対して前記第１の部分集合に関連付けられるコスト関数がva及び前記第１の部分集合からvrを除いた方向を含む修正部分集合に関連付けられるコスト関数よりも高くなるような、少なくとも一対の方向vr及びvaを検出するステップと、前記少なくとも一対の方向の検出に応じて、vrを前記第２の部分集合(Dτ′)から除外し、vaを前記第２の部分集合に含めるステップとを含む請求項１に記載の方法。
請求項3
前記候補方向の第２の部分集合(Dτ′)を決定するステップは、前記第１の部分集合（Dτ）に関連付けられるコスト関数への該第１の部分集合の個々の方向の各コントリビューションに関する第１のマージン（m(v)）を評価するステップと、前記予め定められた集合（Ω）の個々の方向を前記第１の部分集合に加えることに起因する前記コスト関数の各デクリメントに関する第２のマージン（m(v)）を評価するステップと、前記予め定められた集合に属する或る方向に対して評価された前記第２のマージンが前記第１の部分集合の或る方向に対して評価された第１のマージンを超える場合に、前記第１の部分集合の前記方向を前記予め定められた集合の前記方向と置き換えるステップとを含む請求項１に記載の方法。
請求項4
前記第１の部分集合（Dτ）の或る方向に対する前記第１のマージン（m(v)）は、該方向の前記コスト関数へのコントリビューションに等しい、請求項３に記載の方法。
請求項5
前記予め定められた集合（Ω）に属する或る方向に対する前記第２のマージン（m(v)）は、前記第１の部分集合（Dτ）へ前記方向を加えることに起因する前記コスト関数のデクリメントに等しい、請求項３又は４に記載の方法。
請求項6
前記予め定められた集合（Ω）に属する或る方向に対する前記第２のマージン（m(v)）は、前記領域のピクセルについてのローカルマージンの総和として推定され、ピクセル位置x及び方向vに対するローカルマージンが、Lx(v)は、ピクセル位置xにおける方向vに対するローカルコストを示し、Lx(D)は、ピクセル位置xにおける前記第１の部分集合（Dτ）に属する方向に対するローカルコストの最小値示すものとして、予め定められた集合（Ω）に属する方向の中で前記方向vが、ピクセル位置xにおけるローカルコストを最小にする観点から最良の方向である場合には、Lx(D)-Lx(v)となり、その他の場合には、ゼロとなる、請求項３又は４に記載の方法。
請求項7
前記第１の部分集合（Dτ）のうちで、最低の第１のマージンを有する第１の方向（v）を選択するステップ（５０１）と、第１の部分集合（Dτ）を除いた前記予め定められた集合（Ω）のうちで最高の第２のマージンを有する第２の方向（w）を選択するステップ（５０２）と、選択された第２の方向に対する第２のマージン（m(w)）が、選択された第１の方向に対する第１のマージン（m(v)）より高い場合に、選択された第１の方向を前記第２の部分集合（Dτ′）から除外し、選択された第２の方向を前記第２の部分集合（Dτ′）に加えるステップとを含む、請求項３〜６のいずれか一項に記載の方法。
請求項8
前記第１の部分集合(Dτ)のうちで、最低の第１のマージンを有するn個の方向v1, v2, ..., vnを選択し、マージンの昇準にソートするステップ（６０１）と、前記第１の部分集合（Dτ）を除いた前記予め定められた集合（Ω）のうちで最高の第２のマージンを有するn個の第２の方向w1, w2, ..., wnを選択してマージンの降順にソートするステップ（６０２）と、1 ≦ i ≦ nとして、前記第１の部分集合（Dτ）を除いた前記予め定められた集合（Ω）に属するn個の配列された方向w1, w2, ..., wnの各方向wiに対して、前記第二のマージン（m(wi)）が、前記第１の部分集合を除いた前記予め定められた集合に属するn個のソートされた方向v1, v2, ..., vnの各対応方向viに対する第１のマージン（m(vi)）よりも高い値である場合に、viを前記第２の部分集合（Dτ′）から除外し、wiを第２の部分集合（Dτ′）に加えるステップとを含む、請求項３〜６のいずれか一項に記載の方法。
請求項9
前記第２の部分集合（Dτ′）から、評価マージン（m(v)）が既定の閾値よりも低い、前記予め定められた集合（Ω）に属する方向を除外するステップをさらに含む、請求項３〜８のいずれか一項に記載の方法。
請求項10
方向の所与の部分集合（D）に関連づけられる前記コスト関数は、前記領域のピクセルについての、前記所与の部分集合に属する異なる方向に対するローカルコストの最小値の総和である、請求項２〜９のいずれか一項に記載の方法。
請求項11
前記候補方向の第２の部分集合（Dτ′）を決定するステップ及び前記第２の部分集合からの前記方向を検出するステップは、前記出力シーケンスの前記第２の合成画像（I^τ′）の前後の各時間位置を有している入力シーケンスの少なくとも二つの連続画像（It, It+1）間のローカルコスト関数を推定するステップを含み且つ前記ローカルコスト関数は前記第２の部分集合を決定するステップでは、前記第２の部分集合から規則性の方向を検出するステップにおけるよりも、もっと粗く推定される、請求項１〜１０のいずれか一項に記載の方法。
請求項12
前記第１及び第２の部分集合（Dτ, Dτ′）に少なくとも１つのプリセット方向を強制的に含める、請求項１〜１１のいずれか一項に記載の方法。
請求項13
前記予め定められた方向の集合（Ω）を複数のクラスター（Ω(r)）に区分化し、前記候補方向の第２の部分集合（Dτ′）の決定に当たり、各クラスターから１つ以上の限られた数の方向を前記第２の部分集合に含めるために選択する、請求項１〜１２のいずれか一項に記載の方法。
請求項14
前記ビデオシーケンスの画像を複数のウインドウ（Wp,q）に分け、前記第２の合成画像の全領域に対応する領域に対する候補方向の前記第２の部分集合（Dτ′）を決定し、前記方法がさらに、各ウインドウに対して、該ウインドウのピクセルに対して求めたコストマージンに基づいて、前記第２の部分集合の部分集合として、候補方向の第３の部分集合（Dτ′,p,q）を決定するステップと、前記候補方向の第３の部分集合から、前記第２の合成画像の前記ウインドウのピクセルに対する規則性の方向を検出するステップとを含む、請求項１〜１３のいずれか一項に記載の方法。
請求項15
少なくとも一つの前記ウインドウ（Wp,q）をさらに複数のサブウインドウ（Wp,q,r,s）に分け、前記方法がさらに、前記ウインドウの各サブウインドウに対し、前記サブウインドウのピクセルに対して決定したコストマージンに基づいて、前記ウインドウに対して設定した第３の部分集合（Dτ′,p,q）の部分集合として、候補方向の第４の部分集合（Dτ′,p,q,r,s）を決定するステップと、前記候補方向の第４の部分集合から、前記第２の合成画像の前記サブウインドウのピクセルに対する規則性の方向を検出するステップとを含む、請求項１４に記載の方法。
請求項16
前記請求項１〜１５のいずれか一項に記載の方法に従って、ビデオシーケンスを分析できるように配置した計算回路を備えている、ビデオ処理デバイス。
請求項17
コンピュータプログラム製品であって、該コンピュータプログラム製品をコンピュータ処理ユニットにて実行する際に、請求項１〜１５のいずれか一項に記載の方法によってビデオシーケンスを分析する方法を実行するための命令を含む、コンピュータプログラム製品。
請求項18
ビデオ処理方法であって、入力ビデオシーケンスの連続画像（It, It+1）を受信するステップと、出力ビデオシーケンスの合成画像のピクセルを、規則性の各方向に関連付ける、請求項１〜１５のいずれか一項に記載の方法を適用することによって入力ビデオシーケンスを分析するステップと、検出された規則性の方向を用いて入力ビデオシーケンスから出力ビデオシーケンスを生成するステップとを含むビデオ処理方法。
請求項19
前記出力ビデオシーケンスを生成するステップは、検出された規則性の方向を用いて入力ビデオシーケンスの連続する画像間で補間を行うことを含む、請求項１８に記載の方法。
請求項20
前記補間は、ビデオのデインターレーシングを含む、請求項１９に記載の方法。
請求項21
前記補間は、入力ビデオシーケンスのフレームレートを変換することを含む、請求項１９に記載の方法。
請求項22
前記出力ビデオシーケンスを生成するステップは、検出された規則性の方向を用いて入力ビデオシーケンスに対してノイズ低減処理を適用するステップを含む、請求項１８に記載の方法。
請求項23
請求項１８〜２２のいずれか一項に記載の方法によってビデオシーケンスを処理するように配置した計算回路を備えているビデオ処理装置。